# -*- coding: utf-8 -*-
# time: 2025/4/11 09:19
# file: tokenizer_ts.py
# author: hanson
"""
AutoTokenizer.from_pretrained(model_id, trust_remote_code=True) 是 Hugging Face transformers
库中用于加载大模型（如 Qwen、DeepSeek、LLaMA 等）的分词器（Tokenizer）的核心方法。
（2）注释并修改（可能在conda\envs\[virtual envs]\lib\python3.x\site-packages\[加载huggingface的模块]\config.py中）
"""

from transformers import pipeline

# 加载分词器（从Hub下载或读取本地缓存）
# 文本生成
modelId = r"E:\soft\model\qwen\Qwen\Qwen2___5-0___5B-Instruct"
generator = pipeline("text-generation", model=modelId)
print(generator("AI的未来是"))

# 情感分析
classifier = pipeline("sentiment-analysis", model=modelId)
print(classifier("I love Hugging Face!"))
